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Мы любим эксперименты 


($) зсуьЕл 
ТАВАМТООЕ 


© 


|, СйскНои$е 


Ян декс (но) НеНГоаа ++ 


Когда решил почистить базу, 
От данных диск освободив, 
Не торопись стирать их сразу, 
Пускай сперва идут... 


товар регистрируется 
в системе 


И 


товар 
выходит 

из оборота, 
но остаётся 
в основном 
хранилище 


Яндекс (но) НеНоаа"* 


В архив! 


товар регистрируется 
в системе 


товар выходит из оборота 
и отправляется в архив 


Требуемая скорость архивации: \агсИ >= Мои* (30 млн записей в сутки) 
Средний размер записи: 10 Кбайт 


\агсИ >= 3,4 Мбайта/с 


Яндекс (но) НЕНГоаа** 


О, Сцилла! 


1. Скорость записи — 12500 гр5/соге 


(^400 Мбайт/с на 32-ядерном сервере) 


Яндекс (но) ННГоа4 


О, Сцилла! 
1. Скорость записи — 12500 гр$/соге 


(^400 Мбайт/с на 32-ядерном сервере) 


2. Реализация на С++ 


Яндекс (но) ННгоаа"" 


О, Сцилла! 


1. Скорость записи — 12500 гр$/соге 
(^400 Мбайт/с на 32-ядерном сервере) 
2. Реализация на С++ 


3. Восторженные отзывы (с официального сайта) 


Яндекс (но) НёНГоаа"" 


О, Сцилла! 


1. Скорость записи — 12500 гр$/соге 
(^400 Мбайт/с на 32-ядерном сервере) 
2. Реализация на С++ 
3. Восторженные отзывы (с официального сайта} 


4. Эконом-вариант (НОО): 240000 грз$ (“240 Мбайт/с) 
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О, Сцилла! 


1. Скорость записи — 12500 гр$/соге 
(^400 Мбайт/с на 32-ядерном сервере) 
2. Реализация на С++ 
3. Восторженные отзывы (с официального сайта} 
4. Эконом-вариант (НОБ): 240000 гр$ (“240 Мбайт/с) 


5. Привычный интерфейс (как у СаззапагаО) В) 
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О, Сцилла! 


1. Скорость записи — 12500 гр5/соге 

(^400 Мбайт/с на 32-ядерном сервере) 

. Реализация на С++ 

. Восторженные отзывы (с официального сайта} 

. Эконом-вариант (НОО): 240000 гр$ (“240 Мбайт/с) 


‚ Привычный интерфейс (как у Саззапага0В) 


сои фб ОФ ъЪъ 


. Море доступной документации 


Яндекс (но) Нина" 


О, Сцилла! 


1. Скорость записи — 12500 гр$/соге 

(^400 Мбайт/с на 32-ядерном сервере) 

. Реализация на С++ 

‚ Восторженные отзывы (с официального сайта) 

‚ Эконом-вариант (НОО): 240000 гр$ ("240 Мбайт/с) 
‚ Привычный интерфейс (как у Са55апагаО) В) 


‚ Море доступной документации 


чо я оф ъ 


. Открытое сообщество на СИПиВ и поддержка в Заск 
Яндекс (но) НЕИГоаа** 


ПРОДОЛЖАЙ аа. 


ре 
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О, Сцилла! 


1. Скорость записи — 12500 гр5/соге 


(^400 Мбайт/с на 32-ядерном сервере) ТЫ ТАК'ИНТЕРЕСНО 
РАССНАЗЫВАЕШЬ 


. Реализация на С++ 

. Восторженные отзывы (с официального сайта) 

‚ Эконом-вариант (НОО): 240000 гр® (^240 Мбайт/с) 
‚ Привычный интерфейс (как у Саззапага0В) 


‚ Море доступной документации 


чом ъЪъ о ъ 


‚ Открытое сообщество на СКВиЬ и поддержка в $|аск 
Яндекс (но) ННГоая " 


Её богатый внутренний мир 


поае 
поае Рой вт поае 
Сизкег 


о 
а 


Е© 


одно ядро — один шард 


Яндекс (но) Ниноаа*"" 


Инфраструктура 


количество серверов: 5 
количество СРИ на сервере: 32 
размер ОП на сервере (Гб): 312 
тип жестких дисков: НОО 


гер!саНоп Тасфог: 3 


поае 
(©) 
поае Ро, 
4 
Кеузрасе 
агсМуе 


< 


Яндекс (но) ННГоаа"" 


Схема данных 


раг ют Кеу 


рагиЧоп - 


гОм/ 


та е ргоачс*$ 


Яндекс (но) НЕНЕоаа** 


Этапы архивации 


топ?008В 


Основное хранилище 


Отбираем записи 
для архивации 


Этап 1: 
копирование 


Отмечаем записи 
как отправленные 
в архив 


Отправляем 
данные в архив 


Архивное хранилище 


Яндекс (но) 


Ни2НГоаа** 


2022 


Этапы архивации 


топ?го0ОВ 


Основное хранилище 


м— 
Отбираем 
отправленные 
в архив записи 


ны 
Отмечаем записи 
как подтверждённые 


Этап 2: 
валидация 


—_—_—_—_> 
Проверяем 
наличие записей 
в архиве 


ЫЪ$д 
Получаем записи, 
найденные в архиве 


Архивное хранилище 


Яндекс (но) Нина" 


Этапы архивации 


Отбираем и удаляем Этап 3: 
ПОП?О0 ОВ подтверждённые записи удаление 


Основное хранилище Архивное хранилище 


Яндекс (НГ) Меньсая“" 


Нагрузочное тестирование 


са55апага-$%ге$$-{е$: 1 запись — 10 Кбайт 


Архивируем по одной записи: 
Ор гае (скорость выполнения операций): 2431 ор/5; 
Вом/ гае (скорость добавления записей): 2431 гом//$; 


[ а&епсу теап (средняя задержка операции]: 9.8 тз. 


Архивируем пачками (по 100 записей за операцию): 
Ор га*е (скорость выполнения операций): 46 ор/; 
Вом/ гае (скорость добавления записей): 4634 гом//$; 


[ а&епсу теап (средняя задержка операции): 516.1 т$. 


4634 записи в секунду (“45 Мбайт/с) — наш выбор! 


Яндекс (но) НёНГоаа"" 


В прод! 


млн записей в записей в 
сутки секунду (гр$) 


Мбайт/с 


Требование (от) 


Ожидание 400 4634 45,3 
Реальность 1 (копирование) 138 1597 15,6 


Реальность 2 (+ валидация и 20 231 
удаление) 


Подождём... посмотрим... 2 ? ? 


(но) ННГоаа"" 


И вот... 


° >50% операций записи завершается по тайм-ауту 


— У/ще$ Итеощ суПа - 46 133 тор5/5 к к 
- УмМе$ Итеощ зсуйа - 30 100 тор5/$ Веа4/\тие Титеоц! 
— У/ще$ Итеощ суПа - 44: 100 тор5/$ 
пор5/$ Уийез 1итеоц! эсуНа -34: 66.7 торз/з 
Уищез Иитеощ суНа - 35 66.7 тор5з/$ 
— У/ще$ Итеощ суПа - 41 66.7 тор5/$ 
— УИще$ Итеощ суПа - 47 66.7 тор5/$ 
— У/ще$ Нтеощш эсуИа - 40: 66.7 тор5/$ 
600 Упцез итеош суНа - 42: 66.7 тор5/з 
— \Ище$ Итеощ зсуПа - 33 50 тор5/$ 
Улще$ Итеощ зсуйа - 53 50 тор5/$ 
У/ще$ итеощ эсуйа - 10 33.3 тор5/$ 
У/те$ Чтеощ зсуйа - 33 33.3 тор5$/$ 
— УИще$ Итеощ суПа - 43 33.3 тор5/$ 
500 Улце$ Иитеощ эсуПа - 50: 33.3 тор5/$ 
— \Ище$ Итеощ зсуйа - 30 33.3 тор5/$ 
— \Ище$ Итеощ зсуПа - 32 33.3 тор5/$ 
— \Ище$ Итеощ зсуПа - 34: 33.3 тор5/$ 
— УИще$ Итеощ эсуйа - 48 33.3 тор5/5 
400 Уицез$ Иитеощ суНа - 52 33.3 тор5з/$ 
Уице$ Итлеощ суИа - 14: 16.7 тор5/$ 
Улце$ Нтеощ зсуПа - 53 16.7 тор5/5 
— УИще$ Итеощ зсуПа - 60: 16.7 тор5/$ 
Улце$ Читеощ зсуПа - 36 16.7 тор5/5 
— У/ще$ Итеощ супа - 39 16.7 пор5/$ 
300 Уиез 1итеош зсуНа - 51 16.7 поюр5/$ 
Уище$ Иитеощ 5суНа - 52: 16.7 пор5/5 
— УИще$ Итеощ зсуЙа - 35 16.7 тор5/5 
— У/ще$ Итеощ суПа - 51 16.7 тор5/5 
— Веад 4итеош зсуНа - 20: 8.33 тор5/$ 
— У/Ище$ Итеощ зсуПа - 0: О ор5/5$ 
200 — Уище$ Чтеощ зсуНа - 1 0 ор5/5 
100 
0 74 о | 
15:10 15:11 15:12 15:13 15:14 15:15 15:16 15:17 15:18 15:19 15:20 15:21 15:22 15:23 15:24 15:25 15:26 15:27 15:28 15:29 15:30 15:31 15:32 


И вот еще... 


. Падает скорость копирования, валидации (чтения) и архивации в 
целом (до 3 млн записей в сутки) 


млн записей в записей в 
сутки секунду (гр$) 


Мбайт/с 


Требование (от) 


Ожидание 400 4634 45,3 


Реальность 3 (дождались) 0,3 


Яндекс (но) ННГоа4 


Иещше... 


. Автокомпактификация занимает до 100% СРЦ и оказывается 
неуправляемой 


все задачи архивации в это время 


Яндекс (но) ННГоаа"" 


И напоследок... 


. Индексы... Какие ещё индексы? 


такое хаба = МЕтЕТЬО а ОБаеетЕой мтЕБ. оо; ману Екон5 
[ргоЧисЕ$ /рго4асе$ ехес Чафе 1х 1паех:00000000146428] 
(294334 гомз) 


Яндекс (но) ННГоаа"" 


ТУПИК 


Яндекс (нь) Нноаа” 


Что делать? 


1. Пробуем переехать на $50 


"Сцилла’ `` Есливсв делать строго 
$: | Пбннетции | 


разве МОЖНО Потерять 


2 все данные? 


к! | % 


Что делать? 


1. Пробуем переехать на $$0 (@5) (8 


2. Пробуем отключить автокомпактификацию (5) СВ 


по4ефоо| 415аеациосотрасНоп агсИ ме 


Яндекс (но) НёНГоаа"" 


Что делать? 


1. Пробуем переехать на $50 (65) <: 
2. Пробуем отключить автокомпактификацию (5) (8 


3. Отказываемся от индексов СЭ СВ 


АУ 


Яндекс (но) НМенГоаа ++ 


Что делать? 


4. Ослабляем компрессию, переходя с 75ТО на 174 @ (- 


450 


400 
350 
300 
250 
200 
150 
100 
50 
0 


Требование Ожидание Реальность (н.) НЕНГоаа ый 


м млн записей в сутки 


Что делать? 


4. Ослабляем компрессию, переходя с 75ТО на 174 @) С: 


5. Отказываемся от этапа валидации (<) (8 


Требование Ожидание Реальность 174 Оптимизируем 
алгоритм 


++ 
м млн записей в сутки НИГоа&** 
(но) 2022 


Что делать? 


4. Ослабляем компрессию, переходя с 75ТО на 174 © (- 
5. Отказываемся от этапа валидации [) С: 


6. Ускоряем работу основного хранилища (>) (В 


Яндекс (но) ННоаа** 


Чего мы добились 


млн записей 
в сутки записей в секунду (гр$) 


Мбайт/с 


Требование (от) 


Ожидание 400 4634 45,3 
Реальность 1 (копирование) 138 1597 15,6 


Реальность 2 (+ валидация и удаление) 231 2,3 


Новая реальность 


Ян декс (но) НИЕНГоаа ++ 


Опыт — сын ошибок трудных 


‚ Схема данных: Кеу-Кеу-уа|ие и никаких индексов 
‚ Компрессия: 754а — до первых тайм-аутов, потом — 174 
‚ Компактификация: авторежим со стратегией $ТС$ 


. Валидация: на начальном этапе не помешает 


ло ль 


‚ Документация: доверяй, но проверяй 


Яндекс (но) ННГоаа"" 


И гений — парадоксов друг 


оциллазэторешениелроблем 


Яндекс (но) ННГоаа"" 
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